Vào thời kỳ các sứ quân (thời kỳ Ê đô) (1603-1867), Yakuza chỉ gồm những nhóm tội phạm nhỏ, chuyên bảo kê cho các chợ phiên sau đó thì làm lính đánh thuê cho các sứ quân. Năm 1881, Yakuza được tập hợp lại trong một tổ chức có tên "Thương hội Biển đen" - chuyên hoạt động trên biển và giết người thuê.

• Cũng theo một số nguồn tin khác, Yakuza xuất phát từ Samurai, vào thời kỳ Tokugawa (1543 - 1616) người sáng lập ra thời kỳ Mạc phủ Edo đã không cần sử dụng hàng chục vạn Samurai, dẫn tới nhiều người trong số này không có kế sinh nhai, chuyển thành đội quân chuyên cướp phá làng mạc tại những nơi mà họ đi qua trong đất nước, và đây cũng là tiền thân cho tổ chức Yakuza sau này.

Từ Yakuza ám chỉ: dãy chữ số "8-9-3" (Ya - Ku - San theo âm Hán Nhật onyomi), một phức hợp số căn bản trong một trò chơi Nhật cổ truyền (Hanafuda); Điều này cũng có nghĩa là "vô dụng" hoặc "đồ bỏ" cách chơi bài Hanafuda theo lối đánh 3 cây khi mà 8 + 9 + 3 hợp thành con số 20 (Con số lớn nhất có thể hợp được từ ba lá bài tuy nhiên lại bị tính là thua cuộc. 8 9 3 là cảm giác khi lặn bài được con 8, con 9 rồi mà lại bị dính con 3 thật là vô dụng).